Willard Carroll Smith Jr. sinh ngày 25 tháng 9 năm 1968 ở Philadelphia, Pennsylvania. Cha mẹ ông là Caroline (Bright), quản trị viên trường học ở Philadelphia, và Willard Carroll Smith, Sr (mất năm 2016), một kỹ sư điện lạnh. Ông lớn lên tại vùng ngoại ô Wynnefield của Tây Philadelphia, và được nuôi dưỡng tại Baptist. Anh có ba anh chị em, chị gái Pamela, hơn bốn tuổi, và cặp song sinh Harry và Ellen, nhỏ hơn ba tuổi. Smith học ở Our Lady of Lourdes, một trường tiểu học Công giáo tư thục ở Philadelphia. Cha mẹ ông ly thân khi ông 13 tuổi, nhưng đến năm 2000 mới ly dị.

Smith học trường trung học Overbrook. Mặc dù được công bố rộng rãi ra đại chúng, nhưng thật ra việc Smith từ chối học bổng để theo học tại Học viện Công nghệ Massachusetts (MIT) là không đúng sự thật, ông đã không bao giờ xin học đại học vì ông muốn trở thành rapper. "Mẹ tôi, từng làm việc cho ở trường Philadelphia, có một người bạn là cán bộ tuyển sinh của MIT. Tôi có điểm SAT khá cao và họ đang cần tuyển những đứa trẻ da đen, nên có lẽ tôi đã có thể vào. Nhưng tôi vốn không có ý định học đại học." Smith nói.